ABSTRACT
ABSTRACT Objective To assess the applicability of randomized clinical trials and whether certain factors (surgeon experience/journal impact factor) influence their applicability. Methods In this survey study we used the Pubmed/Medline database to select 32 consecutive randomized clinical trials published between 2013 and 2015, involving hand surgery (high/low impact). These studies were independently assessed by 20 hand surgeons (with more or less than 10 years of practice) who answered 4 questions regarding their applicability. Agreement was assessed using Cohen's kappa and comparison of proportions via chi-square statistics. P-value <5% constituted statistical significance. Results A total of 640 evaluations were produced, generating 2560 responses. A weak correlation was observed between less and more experienced respondents (kappa <0.2; range 0.119-0.179). Applicability between the least and most experienced respondents was similar (p = 0.424 and p = 0.70). Stratification by journal impact factor showed no greater propensity of applicability (p = 0.29) for any of the groups. Conclusions Low agreement was found between the respondents for the applicability of the randomized studies. Surgeon experience and journal impact do not seem to influence this decision. Level of Evidence II, Prospective comparative study.
RESUMO Objetivo Avaliar a aplicabilidade de ensaios clínicos randomizados e se há fatores que a influenciam (experiência do cirurgião/ impacto do periódico). Métodos Estudo tipo survey. Selecionou-se (via Medline/Pubmed) dentre os anos de 2013 e 2015, 32 ensaios clínicos randomizados consecutivos envolvendo cirurgia da mão (estratificados como alto/ baixo impacto). Estes estudos foram avaliados de forma independente por 20 cirurgiões de mão (mais versus menos de 10 anos de prática), que responderam quatro questões dicotômicas relativas à propensão da aplicabilidade clínicados estudos. A concordância foi avaliada pelo kappa de Cohen e comparação de proporções pelo Qui-quadrado. Constituiu-se como significantes p menores que 5%. Resultados realizou-se 640 avaliações, envolvendo 2560 respostas. Observou-se baixa concordância entre os avaliadores (menos versus mais experientes): Kappa <0,2; alcance 0,119-0,179. A propensão para aplicabilidade foi semelhante entre os menos e mais experientes (p=0,424 e p=0,70). O mesmo ocorre quando estratificados por impacto da revista, não há maior propensão de aplicabilidade para quaisquer dos grupos (p=0,29). Conclusões Há baixa concordância entre os avaliadores quanto à aplicabilidade de estudos randomizados. Experiência do cirurgião e impacto do periódico parecem não influenciar nesta decisão. Nível de Evidência II; Estudo prospectivo comparativo.